Riesgo existencial de la inteligencia artificial

El riesgo existencial de la inteligencia artificial general es la hipótesis de que un progreso sustancial en la inteligencia artificial general (IAG) podría resultar en la extinción humana o alguna otra catástrofe global irrecuperable.^[1]​^[2]​^[3]​

Un argumento para esta hipótesis es que la especie humana actualmente domina a otras especies porque el cerebro humano tiene algunas capacidades distintivas de las que carecen otros animales. Si la IA superara a la humanidad en inteligencia general y se volviera "superinteligente", entonces podría volverse difícil o imposible de controlar para los humanos. Así como el destino del gorila de montaña depende de la buena voluntad humana, el destino de la humanidad podría depender de las acciones de una futura superinteligencia mecánica.^[4]​

La probabilidad de este tipo de escenario es ampliamente debatida y depende en parte de diferentes escenarios sobre el progreso futuro de la informática.^[5]​ Destacados científicos informáticos y directores ejecutivos de tecnología como Geoffrey Hinton,^[6]​ Alan Turing, Elon Musk,^[7]​ y Sam Altman, director ejecutivo de OpenAI, han expresado su preocupación por la superinteligencia.^[8]​ En 2022, una encuesta a investigadores de IA (con una tasa de respuesta del 17%) encontró que más de la mitad de los respondientes creen que existe un 10 por ciento o más de posibilidades de que nuestra incapacidad para controlar la IA provoque una catástrofe existencial.^[9]​^[10]​

Dos fuentes de preocupación son los problemas del control y la alineación de la IA: que controlar una máquina superinteligente o inculcarle valores compatibles con los humanos puede ser un problema más difícil de lo que se supone ingenuamente. Muchos investigadores creen que una superinteligencia resistiría los intentos de apagarla o cambiar sus objetivos (ya que tal incidente le impediría lograr sus objetivos actuales) y que será extremadamente difícil alinear la superinteligencia con la amplitud completa de importantes valores, valores humanos y aplicar restricciones.^[11]​^[12]​^[13]​ Por lo contrario, los escépticos como el informático teórico Yann LeCun argumentan que las máquinas superinteligentes no tendrán ningún deseo de autopreservación.^[14]​

Una tercera fuente de preocupación es que la llamada "singularidad tecnológica" repentina pueda tomar por sorpresa a una raza humana que no esté preparada. Ejemplificando: si la primera generación de un programa de computadora que puede igualar ampliamente la efectividad de un investigador de IA, puede reescribir sus algoritmos y duplicar su velocidad o capacidades en seis meses, entonces se espera que el programa de segunda generación tarde tres meses para realizar una parte similar del trabajo. En este escenario, el tiempo para cada generación continúa reduciéndose, y el sistema experimenta una gran cantidad de etapas de mejora sin precedentes en un corto intervalo de tiempo, saltando de un desempeño infrahumano en muchas áreas a un desempeño sobrehumano en prácticamente todos los dominios de interés.^[15]​^[16]​ Empíricamente, ejemplos como el programa AlphaZero en el dominio de Go muestran que los sistemas de IA a veces pueden progresar desde una capacidad limitada a nivel humano hasta una capacidad sobrehumana limitada de forma extremadamenta rápida.^[17]​

1. ↑ Russell, Stuart; Norvig, Peter (2009). «26.3: The Ethics and Risks of Developing Artificial Intelligence». Artificial Intelligence: A Modern Approach. Prentice Hall. ISBN 978-0-13-604259-4. 
2. ↑ Bostrom, Nick (2002). «Existential risks». Journal of Evolution and Technology 9 (1): 1-31. 
3. ↑ Turchin, Alexey; Denkenberger, David (3 de mayo de 2018). «Classification of global catastrophic risks connected with artificial intelligence». AI & Society 35 (1): 147-163. ISSN 0951-5666. doi:10.1007/s00146-018-0845-5. 
4. ↑ Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies (First edición). ISBN 978-0199678112. 
5. ↑ GiveWell (2015), Potential risks from advanced artificial intelligence, archivado desde el original el 12 de octubre de 2015, consultado el 11 de octubre de 2015 .
6. ↑ «"Godfather of artificial intelligence" weighs in on the past and potential of AI». www.cbsnews.com (en inglés estadounidense). Consultado el 10 de abril de 2023. 
7. ↑ Parkin, Simon (14 de junio de 2015). «Science fiction no more? Channel 4's Humans and our rogue AI obsessions». The Guardian (en inglés). Archivado desde el original el 5 de febrero de 2018. Consultado el 5 de febrero de 2018. 
8. ↑ Jackson, Sarah. «The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us'». Business Insider (en inglés estadounidense). Consultado el 10 de abril de 2023. 
9. ↑ «The AI Dilemma». www.humanetech.com (en inglés). Consultado el 10 de abril de 2023. 
10. ↑ «2022 Expert Survey on Progress in AI». AI Impacts (en inglés estadounidense). 4 de agosto de 2022. Consultado el 10 de abril de 2023. 
11. ↑ Russell, Stuart; Norvig, Peter (2009). «26.3: The Ethics and Risks of Developing Artificial Intelligence». Artificial Intelligence: A Modern Approach. Prentice Hall. ISBN 978-0-13-604259-4. 
12. ↑ Yudkowsky, Eliezer (2008). «Artificial Intelligence as a Positive and Negative Factor in Global Risk». Global Catastrophic Risks: 308-345. Bibcode:2008gcr..book..303Y. Archivado desde el original el 2 de marzo de 2013. Consultado el 27 de agosto de 2018. 
13. ↑ «Research Priorities for Robust and Beneficial Artificial Intelligence». AI Magazine (Association for the Advancement of Artificial Intelligence): 105-114. 2015. Bibcode:2016arXiv160203506R. arXiv:1602.03506. Archivado desde el original el 4 de agosto de 2019. Consultado el 10 de agosto de 2019. , cited in «AI Open Letter - Future of Life Institute». Future of Life Institute. Future of Life Institute. enero de 2015. Archivado desde el original el 10 de agosto de 2019. Consultado el 9 de agosto de 2019. 
14. ↑ Dowd, Maureen (abril 2017). «Elon Musk's Billion-Dollar Crusade to Stop the A.I. Apocalypse». The Hive (en inglés). Archivado desde el original el 26 de julio de 2018. Consultado el 27 de noviembre de 2017. 
15. ↑ Russell, Stuart; Norvig, Peter (2009). «26.3: The Ethics and Risks of Developing Artificial Intelligence». Artificial Intelligence: A Modern Approach. Prentice Hall. ISBN 978-0-13-604259-4. 
16. ↑ Yudkowsky, Eliezer (2008). «Artificial Intelligence as a Positive and Negative Factor in Global Risk». Global Catastrophic Risks: 308-345. Bibcode:2008gcr..book..303Y. Archivado desde el original el 2 de marzo de 2013. Consultado el 27 de agosto de 2018. 
17. ↑ Graves, Matthew (8 de noviembre de 2017). «Why We Should Be Concerned About Artificial Superintelligence». Skeptic (US magazine) 22 (2). Archivado desde el original el 13 de noviembre de 2017. Consultado el 27 de noviembre de 2017.